1543年、天神山城主浦上宗景に仕えた宇喜多直家（のちの岡山城主）は、初陣として赤松晴政の軍と播磨で戦い、その戦功などにより乙子城主となり、備前統一の基礎作りをしたといわれています。

宇喜多直家が乙子山に構えた連郭式の小型山城。後に備前、美作一帯を統一した直家の最初の居城で、「国とり」はじまりの地といえる。乙子城は、当時の吉井川河口付近に位置し、北東に邑久郡の千町平野、北西に上道郡南東部を望み、また、南から西に広がる児島湾を隔てて児島郡の山々を遠望できた。ここは、戦国時代後期に天神山城（佐伯町田土）を根拠地として備前国東半を支配した浦上宗景の領地の南西端にあたり、臨海性の戦術拠点であった。直家は、乙子城に5年間在城し、この地の治安維持につとめ、砥石城を攻め落す手柄を挙げて、その恩賞に新庄山城を与えられ、その後、乙子城は持城として弟の忠家に守らせた。城郭は、本丸（頂上）と二の丸（乙子大明神境内）を構え、腰曲輪、出曲輪が配されている。各郭は、ともに土段築成で、高石垣は認められない。本丸には、当時の土塁の痕跡がみられる。

宇喜多直家が天文13年（1544）に構えた悌郭式小型山城、のちに備前国を平定し戦国大名に成長した直家が、城主としての第一歩を踏みだした記念すべき城。城は、本丸・二の丸を構え、腰曲輪、出曲輪が配されている。現在の乙子大明神境内は二の丸の場所、大手筋は現在の参道筋と判断される。各郭は、ともに土段築成で、石垣は認められない。本丸の背後に土塁の一部が残っている。乙子城は、児島湾と邑久郡千町平野それに上道郡南東部を一望でき、臨海性の戦術拠点であった。宇喜多直家は天文12年（1543）浦上宗景の家臣となり、赤松晴政の軍と播磨で戦い殊勲をたて、この戦功と祖父能家の旧功によって、足軽30人と300貫の領地を与えられ乙子城主となった。直家は、ここに5年間在城し、この地の治安維持と戦功を挙げた。その恩賞に岡山市竹原（上道郡奈良部）の新庄山城を与えられ、天文18年（1549）に移転した。その後、乙子城は持城として、弟の浮田忠家を城主に置いていたが、宇喜多直家が永禄2年（1559）に亀山城（岡山市沼）に移り、岡山市平野の平定が進むにつれてその存在価値が薄らぎ廃城となったのであろう。